De oorspronkelijke herenhoeve, die later uitgroeit tot het kasteel van Schalkhoven, werd in 1588 gebouwd door Richard van Elderen.
Rond 1770 werd het kasteel verbouwd en ingericht naar de toen heersende classicistische stijl. Het bezit twee zware hoektorens, bekroond met een tentdak en eigenaardige spitsen. Ook de aanpalende kasteelhoeve, in Maaslandse renaissance, dateert uit de 16de eeuw en werd eveneens verbouwd in de 18de eeuw. Het kasteel was achtereenvolgens eigendom van de families van Elderen, Vaes, van Eijll, de Heusch, Barthelsen de du Vivier. In 1836 komt het kasteel in handen van ridder Théodore de Bouman (1803-1863), advocaat en nadien vrederechter in Tongeren. Zijn zoon baron Camille Théodore de Borman (1837-1922), gedurende meer dan 50 jaar bestendig afgevaardigde en voorzitter van de Limburgse provincieraad, werd de volgende eigenaar. Zijn nakomelingen bezitten Schalkhoven nog steeds.
Het in baksteen geel geschilderd kasteel van Schalkhoven, gelegen in een uitgestrekt park met zeldzame bomen, werd in 1977 als monument geklasseerd.